Simulation with model selection by BIC
1 Simulation set up
- Sample size for both training and testing set is 200
- 50 covariates, 10 groups, 5 covariates each group
- group 1 and 3 are important, with beta = c(1, 2, 3, 4, 5)
- signal-to-noise ratio = 1
- use BIC to select lambda
- use prediction error to evaluate prediction
- tuning parameter of weight: 0, .25, .5, .75, 1, no scale. just used cost for weight
- cost randomly generated with each simulation
- solution path
2 zero correlation for both inter and intra group
2.1 Results
## group Lasso CRL GL CGL rCGL
## 1 1 1.000 1.000 1.000 1.000 1.000
## 2 1 1.000 1.000 1.000 1.000 1.000
## 3 1 1.000 1.000 1.000 1.000 1.000
## 4 1 1.000 1.000 1.000 1.000 1.000
## 5 1 1.000 1.000 1.000 1.000 1.000
## 6 2 0.104 0.136 0.268 0.295 0.262
## 7 2 0.131 0.143 0.268 0.295 0.262
## 8 2 0.126 0.158 0.268 0.295 0.262
## 9 2 0.113 0.138 0.268 0.295 0.262
## 10 2 0.098 0.134 0.268 0.295 0.262
## 11 3 1.000 1.000 1.000 1.000 1.000
## 12 3 1.000 1.000 1.000 1.000 1.000
## 13 3 1.000 1.000 1.000 1.000 1.000
## 14 3 1.000 1.000 1.000 1.000 1.000
## 15 3 1.000 1.000 1.000 1.000 1.000
## 16 4 0.102 0.130 0.276 0.304 0.260
## 17 4 0.128 0.145 0.276 0.304 0.260
## 18 4 0.133 0.158 0.276 0.304 0.260
## 19 4 0.111 0.141 0.276 0.304 0.260
## 20 4 0.125 0.141 0.276 0.304 0.260
## 21 5 0.105 0.122 0.274 0.278 0.253
## 22 5 0.125 0.137 0.274 0.278 0.253
## 23 5 0.142 0.152 0.274 0.278 0.253
## 24 5 0.103 0.113 0.274 0.278 0.253
## 25 5 0.102 0.118 0.274 0.278 0.253
## 26 6 0.121 0.147 0.316 0.320 0.297
## 27 6 0.122 0.165 0.316 0.320 0.297
## 28 6 0.118 0.142 0.316 0.320 0.297
## 29 6 0.114 0.119 0.316 0.320 0.297
## 30 6 0.124 0.142 0.316 0.320 0.297
## 31 7 0.109 0.130 0.305 0.296 0.282
## 32 7 0.119 0.138 0.305 0.296 0.282
## 33 7 0.118 0.136 0.305 0.296 0.282
## 34 7 0.110 0.135 0.305 0.296 0.282
## 35 7 0.127 0.143 0.305 0.296 0.282
## 36 8 0.124 0.139 0.296 0.305 0.273
## 37 8 0.120 0.140 0.296 0.305 0.273
## 38 8 0.113 0.135 0.296 0.305 0.273
## 39 8 0.108 0.142 0.296 0.305 0.273
## 40 8 0.115 0.141 0.296 0.305 0.273
## 41 9 0.114 0.128 0.278 0.281 0.254
## 42 9 0.134 0.143 0.278 0.281 0.254
## 43 9 0.121 0.132 0.278 0.281 0.254
## 44 9 0.099 0.114 0.278 0.281 0.254
## 45 9 0.120 0.139 0.278 0.281 0.254
## 46 10 0.105 0.133 0.291 0.295 0.268
## 47 10 0.131 0.138 0.291 0.295 0.268
## 48 10 0.090 0.110 0.291 0.295 0.268
## 49 10 0.096 0.115 0.291 0.295 0.268
## 50 10 0.139 0.142 0.291 0.295 0.268
## # A tibble: 5 x 3
## variable ave_pe med_pe
## <fct> <dbl> <dbl>
## 1 Lasso 1.22 1.21
## 2 CRL 1.23 1.21
## 3 GL 1.14 1.13
## 4 CGL 1.15 1.14
## 5 rCGL 1.13 1.13## # A tibble: 5 x 3
## variable ave_cpp med_cpp
## <fct> <dbl> <dbl>
## 1 Lasso 82.7 80.2
## 2 CRL 81.8 78.9
## 3 GL 64.5 62.3
## 4 CGL 61.8 60.3
## 5 rCGL 61.4 60.42.2 Solution path
3 zero between-group, 0.5 within group correlaion
3.1 Results
## group Lasso CRL GL CGL rCGL
## 1 1 1.000 1.000 1.000 1.000 1.000
## 2 1 1.000 1.000 1.000 1.000 1.000
## 3 1 1.000 1.000 1.000 1.000 1.000
## 4 1 1.000 1.000 1.000 1.000 1.000
## 5 1 1.000 1.000 1.000 1.000 1.000
## 6 2 0.039 0.053 0.292 0.312 0.290
## 7 2 0.039 0.061 0.292 0.312 0.290
## 8 2 0.040 0.053 0.292 0.312 0.290
## 9 2 0.046 0.052 0.292 0.312 0.290
## 10 2 0.033 0.045 0.292 0.312 0.290
## 11 3 1.000 1.000 1.000 1.000 1.000
## 12 3 1.000 1.000 1.000 1.000 1.000
## 13 3 1.000 1.000 1.000 1.000 1.000
## 14 3 1.000 1.000 1.000 1.000 1.000
## 15 3 1.000 1.000 1.000 1.000 1.000
## 16 4 0.032 0.044 0.294 0.300 0.277
## 17 4 0.025 0.047 0.294 0.300 0.277
## 18 4 0.034 0.055 0.294 0.300 0.277
## 19 4 0.043 0.047 0.294 0.300 0.277
## 20 4 0.040 0.055 0.294 0.300 0.277
## 21 5 0.031 0.044 0.314 0.325 0.305
## 22 5 0.039 0.049 0.314 0.325 0.305
## 23 5 0.040 0.051 0.314 0.325 0.305
## 24 5 0.050 0.069 0.314 0.325 0.305
## 25 5 0.043 0.046 0.314 0.325 0.305
## 26 6 0.031 0.050 0.286 0.286 0.269
## 27 6 0.027 0.048 0.286 0.286 0.269
## 28 6 0.032 0.044 0.286 0.286 0.269
## 29 6 0.043 0.053 0.286 0.286 0.269
## 30 6 0.038 0.050 0.286 0.286 0.269
## 31 7 0.033 0.049 0.304 0.294 0.287
## 32 7 0.039 0.046 0.304 0.294 0.287
## 33 7 0.047 0.059 0.304 0.294 0.287
## 34 7 0.037 0.045 0.304 0.294 0.287
## 35 7 0.048 0.051 0.304 0.294 0.287
## 36 8 0.035 0.046 0.276 0.286 0.259
## 37 8 0.044 0.057 0.276 0.286 0.259
## 38 8 0.047 0.055 0.276 0.286 0.259
## 39 8 0.036 0.041 0.276 0.286 0.259
## 40 8 0.038 0.043 0.276 0.286 0.259
## 41 9 0.032 0.049 0.269 0.289 0.264
## 42 9 0.034 0.045 0.269 0.289 0.264
## 43 9 0.038 0.052 0.269 0.289 0.264
## 44 9 0.050 0.066 0.269 0.289 0.264
## 45 9 0.045 0.051 0.269 0.289 0.264
## 46 10 0.035 0.051 0.286 0.302 0.274
## 47 10 0.043 0.060 0.286 0.302 0.274
## 48 10 0.038 0.056 0.286 0.302 0.274
## 49 10 0.043 0.054 0.286 0.302 0.274
## 50 10 0.030 0.044 0.286 0.302 0.274
## # A tibble: 5 x 3
## variable ave_pe med_pe
## <fct> <dbl> <dbl>
## 1 Lasso 1.13 1.12
## 2 CRL 1.14 1.13
## 3 GL 1.13 1.12
## 4 CGL 1.14 1.14
## 5 rCGL 1.13 1.12## # A tibble: 5 x 3
## variable ave_cpp med_cpp
## <fct> <dbl> <dbl>
## 1 Lasso 49.9 45.3
## 2 CRL 51.4 46.3
## 3 GL 64.6 62.9
## 4 CGL 61.9 60.6
## 5 rCGL 62.2 61.13.2 Solution path
4 0.5 correlation for both between and within groups
4.1 Results
## group Lasso CRL GL CGL rCGL
## 1 1 1.000 1.000 1.000 1.000 1.000
## 2 1 1.000 1.000 1.000 1.000 1.000
## 3 1 1.000 1.000 1.000 1.000 1.000
## 4 1 1.000 1.000 1.000 1.000 1.000
## 5 1 1.000 1.000 1.000 1.000 1.000
## 6 2 0.230 0.252 0.458 0.523 0.433
## 7 2 0.197 0.214 0.458 0.523 0.433
## 8 2 0.229 0.248 0.458 0.523 0.433
## 9 2 0.216 0.224 0.458 0.523 0.433
## 10 2 0.234 0.238 0.458 0.523 0.433
## 11 3 1.000 1.000 1.000 1.000 1.000
## 12 3 1.000 1.000 1.000 1.000 1.000
## 13 3 1.000 1.000 1.000 1.000 1.000
## 14 3 1.000 1.000 1.000 1.000 1.000
## 15 3 1.000 1.000 1.000 1.000 1.000
## 16 4 0.217 0.216 0.443 0.510 0.408
## 17 4 0.215 0.228 0.443 0.510 0.408
## 18 4 0.210 0.223 0.443 0.510 0.408
## 19 4 0.206 0.212 0.443 0.510 0.408
## 20 4 0.243 0.232 0.443 0.510 0.408
## 21 5 0.228 0.234 0.473 0.535 0.438
## 22 5 0.231 0.217 0.473 0.535 0.438
## 23 5 0.219 0.238 0.473 0.535 0.438
## 24 5 0.210 0.231 0.473 0.535 0.438
## 25 5 0.222 0.237 0.473 0.535 0.438
## 26 6 0.235 0.222 0.476 0.511 0.450
## 27 6 0.250 0.223 0.476 0.511 0.450
## 28 6 0.215 0.215 0.476 0.511 0.450
## 29 6 0.207 0.213 0.476 0.511 0.450
## 30 6 0.207 0.212 0.476 0.511 0.450
## 31 7 0.256 0.249 0.502 0.528 0.465
## 32 7 0.221 0.226 0.502 0.528 0.465
## 33 7 0.232 0.245 0.502 0.528 0.465
## 34 7 0.229 0.225 0.502 0.528 0.465
## 35 7 0.240 0.243 0.502 0.528 0.465
## 36 8 0.211 0.207 0.447 0.499 0.409
## 37 8 0.227 0.234 0.447 0.499 0.409
## 38 8 0.227 0.224 0.447 0.499 0.409
## 39 8 0.218 0.221 0.447 0.499 0.409
## 40 8 0.222 0.225 0.447 0.499 0.409
## 41 9 0.226 0.227 0.460 0.507 0.432
## 42 9 0.222 0.234 0.460 0.507 0.432
## 43 9 0.218 0.212 0.460 0.507 0.432
## 44 9 0.229 0.237 0.460 0.507 0.432
## 45 9 0.228 0.239 0.460 0.507 0.432
## 46 10 0.205 0.213 0.439 0.480 0.412
## 47 10 0.211 0.213 0.439 0.480 0.412
## 48 10 0.220 0.225 0.439 0.480 0.412
## 49 10 0.220 0.214 0.439 0.480 0.412
## 50 10 0.217 0.231 0.439 0.480 0.412
## # A tibble: 5 x 3
## variable ave_pe med_pe
## <fct> <dbl> <dbl>
## 1 Lasso 1.13 1.13
## 2 CRL 1.14 1.13
## 3 GL 1.14 1.14
## 4 CGL 1.16 1.16
## 5 rCGL 1.14 1.13## # A tibble: 5 x 3
## variable ave_cpp med_cpp
## <fct> <dbl> <dbl>
## 1 Lasso 117. 118.
## 2 CRL 105. 108.
## 3 GL 85.8 86.7
## 4 CGL 86.2 86.2
## 5 rCGL 80.7 79.84.2 Solution path
